Multimodal Signals and Holistic Interaction Structuring

This paper focusses on multimodal activity and its functions, especially as a communicative means to structure the discourse among the interlocutors: to give feedback and indicate turn-takings and mutual agreement. Starting from the assumption that natural language communication is a holistic process which aims at creating shared understanding, and requires interpretation of vocal and visual signals as part of successful interaction, the paper aims to form a coherent picture of the participants’ multimodal communication strategies and their engagement in the conversation. It presents observations on the conversational feedback and turn-taking functions especially related to head movement, hand gesturing, and body posture. The main claim concerns the meta-discursive function of visual signals, related to their use as unobtrusive means to control the interaction and to construct shared understanding. The paper deals with synchrony between head movements, hand gesturing and body posture, and builds models for the coordination of communication for intelligent and situated autonomous agents. TITLE AND ABSTRACT IN FINNISH Multimodaaliset signaalit ja holistinen vuorovaikutuksen jäsennys Tämä artikkeli keskittyy multimodaalisen aktiivisuuden ja sen viestinnällisten tehtävien tutkimiseen, erityisesti sen käyttöön diskurssin jäsentämisessä keskustelijoiden kesken: palautteen antamiseen, vuoronvaihtojen osoittamiseen sekä yksimielisyyden ilmaisemiseen. Lähtien oletuksesta että kielellinen kommunikointi on holistinen prosessi, joka tähtää yhteisen ymmärryksen luomiseen ja vaatii vokaalisten ja visuaalisten signaalien tulkitsemista osana onnistunutta vuorovaikutusta, artikkeli pyrkii muodostamaan koherentin kuvan puhujien multimodaalisista viestintästrategioista ja keskusteluun osallistumisesta. Se esittelee huomioita, jotka käsittelevät keskustelupalautteen antoa ja vuoronvaihtelua erityisesti pään, käsien, ja vartalon liikkeiden avulla. Keskeinen väite koskee multimodaalisten signaalien meta-diskursiivista funktiota, joka liittyy niiden käyttöön ei-häiritsevinä keinoina keskustelun hallinnassa ja yhteisen ymmärryksen luonnissa. Artikkelissa kuvataan pään, käsien, ja vartalon liikkeiden synkroniaa, sekä kehitetään malleja, joita voidaan käyttää älykkäiden ja tilanteisten autonomisten agenttien viestinnän koordinoimiseksi.